Le détail des systèmes algorithmiques utilisés par le gouvernement britannique sera rendu accessible dans un fichier public, rapporte le Guardian. Une décision prise après que de nombreuses associations ont pointé les risques de biais et de préjugés « bien ancrés » dans les machines.
Ces dernières sont utilisées par le gouvernement britannique pour des applications aussi diverses que la tentative de détection de mariages blancs ou la lutte contre la fraude et les erreurs dans les demandes d’aide sociale.
À la suite d’une contestation en justice par un groupe de défense des droits numériques et le Conseil pour le bien-être des migrants en août 2020, le ministère de l’Intérieur britannique avait cessé d’utiliser un système algorithmique dédié à la classification des demandes de visa. Ils y argumentaient que le système était « profondément raciste et biaisé » envers certaines nationalités.
Public Law Project, association dédiée à faciliter l’accès à la justice, a produit son propre recensement des systèmes algorithmiques utilisés par la force publique britannique et en compte 55 à l’heure actuelle.
Commentaires (4)
#1
Les algorithmes en soit sont une bonne chose car, sans eux, on est dans l'arbitraire, le jugement à la tête du client, donc l'inégalité et l'injustice. Mais ils doivent être publiés dans le cas où ils remplissent un rôle décisionnaire concernant un citoyen.
Même une décision de justice est expliquée par un cheminement justifiant du bien fondé de la décision.
A contrario, j'attends avec impatience la publication de l'algorithme d'attribution des logement sociaux des villes.
Historique des modifications :
Posté le 02/09/2024 à 20h55
Pour moi, ne pas publier un algorithme de ce type, c'est comme appliquer des lois dont seuls les juges auraient le texte.
Les algorithmes en soit sont une bonne chose car, sans eux, on est dans l'arbitraire, le jugement à la tête du client, donc l'inégalité et l'injustice.
Même une décision de justice est expliquée par un cheminement justifiant du bien fondé de la décision.
A contrario, j'attends avec impatience la publication de l'algorithme d'attribution des logement sociaux des villes.
#1.1
Alors, bonjour pour les "publier" comme tu le dis. Sauf s'ils donnent le jeu de données utilisé pour l'entraînement (ce dont je doute) et toute autre information utile, ça risque d'être de la poudre aux yeux.
Il n'y a qu'à voir ce que dit le Public Law Project sur les algos de type "machine learning tools"
#1.2
L'apprentissage profond permet de créer des intuitions artificielle et comme chez l'humain, une intuition peut se révéler fausse.
Au même titre que l'on ne peut pas prendre des décisions exclusivement basées sur des intuitions, il ne faut pas utiliser l'IA pour prendre des décisions à la place des humains.
Ce genre d'outils est très bien quand il est utilisé à bon escient : comme une aide décisionnelle. Comme pour la vidéo surveillance pour alerter que sur une caméra donnée, il y a peut-être un truc à voir.
#1.3
C'est quand même dommage que sur Next, on n'utilise pas les bons termes alors même que l'article du Guardian est titré :
Alors même que le problème posé par ces traitements est le biais lié à l'entraînement de ces soit-disant algorithmes, la brève ne parle pas d'intelligence artificielle. C'est bien la peine de faire des tonnes d'articles sur les "erreurs" de l'IA générative et des chats à base d'IA si pour des sujets autrement plus importants (les conséquences sur la vie des gens de décisions biaisées), on reste silencieux sur le problème à la base.
Le glissement sémantique du mot algorithme ne doit pas être accepté ici. La rubrique unique "AI et algorithmes" dans laquelle est classée la brève est elle aussi un problème.
On est capable de décrire le calcul des différents impôts ou des différentes aides sociales par des algorithmes : c'est un enchaînement déterministe de calculs. Par contre, on n'est pas capable de décrire comment il est décidé par un système à base d'IA de vérifier si quelqu'un fraude la CAF.
Ma réserve annoncée plus haut est sur ce dernier point : les systèmes d'IA qui sont biaisés ne doivent pas être utilisés même en aide parce qu'ils vont concentrer les contrôles sur un partie de la population sans raison valable avec toutes les conséquences que ça peut avoir sur ces personnes.